Trước năm 1945, địa bàn phường Kỳ Sơn hiện nay thuộc xã Mông Hóa, tổng Mông Hóa, châu Kỳ Sơn[4]. Sau Cách mạng Tháng Tám, xã Mông Hóa thuộc huyện Kỳ Sơn.

Ngày 22 tháng 1 năm 1957, Ủy ban kháng chiến hành chính Liên khu 3 quyết định chia xã Mông Hóa thành 4 xã: Mông Hóa, Dân Hòa, Dân Hạ và Phúc Tiến.[4]

Ngày 1 tháng 8 năm 1994, Chính phủ ban hành Nghị định số 80-CP. Theo đó, thành lập thị trấn Kỳ Sơn, thị trấn huyện lỵ huyện Kỳ Sơn trên cơ sở 460 ha diện tích tự nhiên và 3.031 người của xã Dân Hạ.[1]

Đến năm 2018, thị trấn Kỳ Sơn có 3,53 km² diện tích tự nhiên, dân số là 2.574 người.

Ngày 17 tháng 12 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 830/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp huyện, cấp xã thuộc tỉnh Hòa Bình (nghị quyết có hiệu lực từ ngày 1 tháng 1 năm 2020)[2]. Theo đó:

• Sáp nhập toàn bộ diện tích và dân số của huyện Kỳ Sơn vào thành phố Hòa Bình
• Sáp nhập 31,02 km² diện tích tự nhiên và 4.673 người của xã Dân Hạ vừa giải thể (gồm 8 xóm: Đồng Bến, Đồng Sông, Hữu Nghị, Máy Giấy, Mỏ, Nút, Tân Lập, Văn Tiến) vào thị trấn Kỳ Sơn để thành lập phường Kỳ Sơn thuộc thành phố Hòa Bình.

Sau khi thành lập, phường Kỳ Sơn có 34,55 km² diện tích tự nhiên, dân số là 7.247 người.